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Решение краевых задач на дискретных 
клеточных нейронных сетях 


В статье рассмотрена структура двумерной дискретной клеточной сети. Дано описание локально- 
асинхронного метода решения краевых задач на дискретных клеточных нейронных сетях. Описан 
алгоритм реализации мультисеточного метода. Изложены подходы к обучению дискретных 
клеточных нейронных сетей, использующие принципы пластичности и модификации весовых 
коэффициентов. 


Введение 


За более чем двадцать лет накоплен огромный опыт применения искусственных 
нейронных сетей к решению краевых задач математической физики. Большинство из 
известных подходов основываются на аппроксимационных свойствах многослойных 
нейронных сетей прямого распространения [1], [2]. В этом случае решение краевой 
задачи получают в аналитическом виде при условии, что отдельные нейроны 
используются как базовые элементы, параметры которых настроены таким образом, 
чтобы уменьшить ошибку аппроксимации решения. Однако использование этого 
подхода ограничено применением только прямых методов решения краевых задач. 
Применяемые в данном случае методы обучения нейронных сетей прямого рас- 
пространения весьма трудоемки и не дают полной гарантии успешного решения 
поставленной задачи за конечное число шагов. 

Более широкий спектр краевых задач может быть решен в случае, когда исполь- 
зуется этап дискретизации области и преобразования, таким образом, исходной крае- 
вой задачи в систему разностных алгебраических уравнений. Полученную систему 
разностных уравнений отображают на структуру нейронной сети Хопфилда, а 
решение ищут путем минимизации сетевой энергетической функции [3]. Следует 
отметить, что использование сетей Хопфилда сопряжено с необходимостью преодо- 
ления типовых для сетей данного типа проблем попадания в локальные минимумы. 

Наиболее адаптированными к решению рассматриваемых задач считаются 
клеточные нейронные сети (КНС). Этому способствует их структурная организация, 
представляющая собой двумерную или трехмерную однородную вычислительную 
среду с локальными связями между узловыми нейронами. Уже первые работы по 
клеточным нейронным сетям [4], [5] содержали ряд методов решения дифферен- 
циальных уравнений в частных производных и обыкновенных дифференциальных 
уравнений. Однако и в этом случае не удалось избежать прямых методов решения, 
что существенно сужает круг решаемых задач. 

В работе предлагается использовать преимущества численных методов при 
решении краевых задач на КНС. Принципиальным отличием применения численных 
методов от прямых методов в КНС следует считать необходимость решения задачи 
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синхронизации потоков данных. Данная проблема решается путем применения спе- 
циальных локально-асинхронных методов, обеспечивающих сходимость итерационного 
процесса независимо от порядка взаимодействия между клетками. Возникающее при 
этом некоторое снижение скорости сходимости можно компенсировать за счет при- 
менения мультисеточных методов. 


Локально-асинхронный метод для дискретных 
клеточных нейронных сетей 


Будем рассматривать двумерную дискретную клеточную нейронную сеть (ДКНС), 
ориентированную на решение краевых задач математической физики. Структура 
такой сети состоит из некоторого набора дискретных нейронов, соединенных между 
собой каналами коммуникаций, как показано на рис. 1. 


Рисунок 1 — Структура дискретной клеточной сети 


Количество каналов коммуникаций может меняться, поэтому для задания 
структуры связей при реализации параллельного алгоритма решения краевой задачи 
на ДКНС для каждой клетки С; ; определяют множество координат соседних клеток 


и. 


занная на рис. 1, имеет такие характеристики: 


мощность которого называют индексом соседства. Например, структура, пока- 


а, } =’, ; =4, , ;={(@-1,7).6,7+10.(+576,7-1}. 


Произвольный клеточный нейрон С; ; представляет собой специализированное 


вычислительное устройство, реализующее вычислительный процесс решения 
краевой задачи локально-асинхронным численным методом [6] для некоторой 
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области дискретизации. Коммуникационные каналы обеспечивают асинхронную 
передачу результатов вычислений от клеточного нейрона С; ; к клеточным ней- 


ронам, входящим в соответствующее множество И’; ;, а также прием результатов 


5]? 
вычислений от этих клеточных нейронов. 

Краевую задачу зададим операторным уравнением с граничными и начальными 
условиями: 


Ау=ф, С=СЧУТГ, ус=0, (1) 


где Г- граница, С — внутренняя область краевой задачи. 
После выполнения традиционных операций по дискретизации области решения 
краевой задачи получим систему разностных уравнений: 


Ги = У, нау. и: -0, (2) 


где у- дискретная граница, © — дискретная внутренняя область краевой задачи. 


Клеточную нейронную сеть, ориентированную на локально-асинхронный ме- 
тод [6], можно рассматривать как конечную совокупность вычислительных узлов, 
реализующих глобальный оператор Г, который состоит из множества парасжи- 
мающих операторов: 


={КеК} . (3) 


Глобальный оператор [:А” -› №" называют парасжимающим [7], если он 


непрерывный, а для неподвижной точки з и произвольной точки хе В" справед- 


ливо неравенство [8]: 


|4(9-5]< |: 


(4) 


при условии, что х*з. 
Пусть задан парасжимающий глобальный оператор [= {1 р | ЕК } ‚ №:Н" >Н, 


где ту {1,...т }, НС А", и множество начальных векторов Ху. Тогда 
асинхронной итерационной последовательностью будем называть последователь- 


[©.6) И > 
НОСТЬ 1% (#) =1 векторов х(+) ЕК ‚ определяемых по итерационнои схеме: 


5+) )-быцо ©} г... (5) 


где О= {(@) = 1,2... — последовательность элементов А(1)Е К, 


570 «Искусственный интеллект» 32008 


Решение краевых задач на дискретных клеточных нейронных сетях 7 Н 


® = |5 (6). -,5,(0),-. 5 (1=0.1,.} — множество целых неотрицательных чисел, ко- 


С тк (+) 


торое соответствует условиям: 


0< 5, (#)<1, #>0, 
-М <5 (1) <0, 1=0, 


Хо= | 1 (0). бы) () — множество векторов, определяющих начальное сос- 


тояние дискретной клеточной нейронной сети. 
Таким образом, рассматриваемый итерационный метод однозначно опреде- 
ляется кортежем (1,Х 9,0,5) и может быть полностью асинхронным или частично 


асинхронным. Если оператор 19) допускает произвольное количество ту(,) 


аргументов с произвольным расстоянием Эту (+) (+) от текущего итерационного шага 


аргумента с номером 1, то метод будем (Рх 0, О, ) называть полностью асинхрон- 


ным при выполнении условий: 


1. Пи 5: (Е) о 91 =1,...тк(), УК еК. 
1—0 


2. {ока Т.Е К. 

Условие 1 указывает, что итерационная схема метода разрешает рассматривать 
элементы Данных, которые отдалены от текущего итерационного шага на 
произвольное расстояние как аргументы оператора (00. Условие 2 обеспечивает 


существование неограниченного допустимого количества итераций. На практике 
чаще используют частично асинхронные методы. Метод (1, Хо,0,5 ) будем называть 


частично асинхронным при выполнении условий: 


О] 


2. {ЕЕ + То... (Е +с=К,сЕМ\ЕМ. 

В таком методе вводят ограничительные константы 5 максимального расстоя- 
ния от текущего итерационного шага и константу с, которая ограничивает 
максимально допустимое количество итераций. 

Рассмотренный метод позволяет организовать вычисления на дискретной кле- 
точной нейронной сети таким образом, чтобы исключить взаимную синхронизацию 
нейронов. Однако отсутствие синхронизации, как правило, приводит к потере произ- 
водительности за счет снижения скорости сходимости. Исправить указанный 
недостаток можно путем использования мультисеточных методов. 


Мультисеточный метод для ДКНС 


Для дискретной краевой задачи (2) очередное приближение будем искать с 
помощью итерационного оператора 


и()=Ц(и(е-1)) (6) 


на последовательности вложенных сеток (0) == 20 Е 2). 
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Для перехода между сетками необходимо предварительно задать операторы 
пролонгации Ри рестрикции К. 
Используя узловой способ разбиения области 


а 


Тб = (0,1... пб ). и ее. = [,..П 
6 


представим пролонгацию на двумерных сетках ВУ И 20+) с соотношением шагов 
в (+1) (+1) 6 @ 
1 Я, — 1 1 

дискретизации И = а =2. Значения функции а на сетке э`’ получаем в 


результате действия оператора билинейной пролонгации ое Ри) на задан- 
ном шаблоне: 


[р ше), =, 
9 вы р Ум 4) ы 
Пе, аи ый 
ет 


где а = (1,0) — прирост координат по оси д; 
ео = (0,1) — прирост координат по оси /о. 
В случае доменного способа разбиения области непрерывные значения 


функции заменим множеством значений, размещаемых в геометрических центрах 
доменов сеточной области: 


хЕА",х=(7-а)й, = (Л, ий = (,--йи, 


Ен | 
И 


а 


8 = 


Тогда действие оператора двумерной доменной билинейной пролонгации будет 
иметь вид (рис. 2): 


= 


оный 


16 У 7+е 1+е2 Л-+ет+ез ? 
(+) ыы (4+1), (4+1) 3, (+1). +) (+) 
(0 _ [и 27 +е1 16 99 +в М} Ри Я Е И й (8) 
Л |[ы (+) = й 1+1) (+ 3 (+). 3+) (0 
[р ка ат: ине и} +3и; И а, ие р 


.-. 


РИ 


(0) не (+1) (+) 3) (0) 
и уче че — 16 И ке +65 +3и 71+ не р 


где е| = (1,0) и е> = (0,1) — координатные сдвиги относительно координаты / = ( Л› 12). 
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Рисунок 2 — Действие оператора доменной билинейной пролонгации 
на двумерной сетке 


Переход с точной сетки на более грубую осуществляется с помощью действия 
оператора рестрикции 4 (+1) - в (0). Выражение для двумерной билинейной узло- 
вой рестрикции зададим, используя координатные сдвиги е| = (1,0) и е = (0,1) ДЛЯ 
координатного вектора /= ( У 2): 


449 = (440 +249 +240 +24® 249+ 
4 7 


21-е 2 у+е, 2-е 2 у+е› 


+49 ‚+4, +а@ „, +а9 


2у-е-е› 2 у+е +е 2-е +е› 2у-+е-е› ). 


(9) 


Алгоритм мультисеточного метода состоит из последовательности шагов: 
Г. Первое сглаживание приближения. 


1. Выполнение @| раз итерационной формулы (6) на сетке 20) с наименьшим 
шагом дискретизации: 


"Я(+а)= Ци. у). (10) 


40 ()=(70-19,0() (11) 


П. Вычисление погрешности на грубых сетках. 

Этот шаг заключается в последовательном решении уравнения невязки на 
грубых сетках. Алгоритм переходов между грубыми сетками определяется циклом 
мультисеточного метода. Чаще всего применяют Г -циклы или И’ -циклы. На каждой 
из грубых сеток, за исключением последней, определены такие виды операций: 
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1. Операция рестрикции: 
4 ()= ва), <<. (12) 
2. Первое сглаживание погрешности: 


5+) =Ц® (600.40), (13) 


для уравнения невязки 15 @- а и на сетке 2. 
3. Операция пролонгации и коррекции погрешности: 


5(1)=50()+Р6(0), О<Е <. (14) 
4. Второе сглаживание погрешности: 


5 +аз)=цЦ® 0,70). (15) 


Ш. Коррекция на точной сетке. 


1. Операция заключается в коррекции приближения и ©)() посредством вычислен- 


ной на грубых сетках погрешности @)() : 
и) (1) =и@(4)+ 500). (16) 
2. Второе сглаживание приближения: 


о) +аз)= Ц), (17) 


Мультисеточный итерационный метод может быть описан рекурсивной про- 
цедурой МСМ (., 1,0р), в которой параметр { указывает на текущий номер сетки, 
параметр / — на текущий номер цикла, а логический параметр Ор отвечает за теку- 


щее направление движения вдоль сеток. 
В случае, когда Л„.х =1, мультисеточный метод содержит ТУ-циклы, а при 


Лпах >! возникают И’ -циклы. При Ир =\ие происходит процесс рестрикции, а при 
Ор = а5е — процесс пролонгации. 


Ргоседиге МСМ(, 7); 
Вест 
1 № Ор еп 
Вест 
Г1<1ах еп 
Вест 


Ч =ц® м) 
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Ин ИО] 
и[+1]:=0; 
№ 7>0 еп мом(1+1, /,Ор) ее Ехи; 
еп4 ебе 
Вест 
Ор:=Моё Ор; 
1=/-6 
МСМ(1-1, /,Ур) 
епа; 
еп4 ее 
Вест 


и] =и + Ви 1; 
=4® (1.7; 
[1<2 еп 
Вест 
Ор:= М№ 1 Ор; 
И ]=0 Шеп МСМ(Е-Ь Ор) ебе МСМ(Ь },0р); 
епа ебе мем(-1 /.0р); 
епа; 
Епа. 


Обучение дискретных клеточных нейронных сетей 


Способность к обучению является фундаментальным свойством искусственных 
нейронных сетей. Процесс обучения может рассматриваться как модификация меж- 
нейронных связей и настройка весовых коэффициентов для эффективного выполнения 
поставленной задачи. Существует большое количество правил и процедур обучения, 
зависящих от типа искусственных нейронных сетей. Если значение весовых коэффи- 
циентов и выбор структуры связей определяют путем предварительных расчетов, 
исходя из условий задачи, то такое обучение называют обучением с учителем. Если же 
весовые коэффициенты формируют как результат накопления опыта после многократ- 
ного решения задачи, то такой процесс называется обучением без учителя. 

Для данного типа дискретных клеточных нейронных сетей суть обучения состоит 
в определении межнейронных связей, возникающих в ходе решения краевых задач 
математической физики, а также весовых коэффициентов, повышающих сходимость 
итерационных процессов в нейронах. Использование различных межнейронных связей 
обусловлено применением мультисеточных методов. Данные методы реализуют 


вычисление на иерархической последовательности сеток 2 (6) сю 20 У, 9 2), ДЛЯ 
каждой из которых нейрону С; ; соответствует набор соседних нейронов, определяе- 
мый множеством И’; у. Особенность рассмотренного подхода состоит в том, что изме- 
нение межнейронных связей происходит без изменения структуры нейронной сети. 


Связи между нейронами, образующие сетки 2), 2>0, обеспечивает механизм тран- 
зитных пересылок. Благодаря этому механизму, основанному на алгоритме транзитных 
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пересылок [9], возникает возможность организации вычислений на виртуальных сетках, 
структура которых не совпадает с физической структурой клеточной сети. Суть рас- 
смотренных мультисеточных методов состоит в повышении эффективности решения 
краевых задач математической физики локально-асинхронным методом за счет 
сглаживания низкочастотной составляющей невязки на грубых сетках. Эффективность 
такого сглаживания зависит от последовательности применения И’ -циклов и Г -циклов 
индивидуально для каждой конкретной краевой задачи. Следовательно, выбор конкрет- 
ного алгоритма мультисеточного метода может рассматриваться как обучение клеточной 
нейронной сети. 

Теперь рассмотрим методы обучения дискретных клеточных нейронных сетей, 
обеспечивающие улучшение показателей решения краевых задач путем модифика- 
ции весовых коэффициентов нейронных связей. Известно, что скорость сходимости 
произвольного итерационного метода зависит от спектральных свойств разностного 
оператора. Поэтому существует возможность модификации системы разностных 
уравнений (2) к эквивалентной системе, имеющей то же решение при лучших спект- 
ральных свойствах разностного оператора Ё. Пусть оператор Г задан в виде 
матрицы коэффициентов системы разностных уравнений (2). Тогда предположим 
существование некоторой матрицы И’ такой, что модифицированная система 
разностных уравнений 


их) = 1) (18) 


имеет то же решение, что и система [и(х) = С) но спектральные свойства матри- 


цы коэффициентов ВЯ лучшие, чем матрицы коэффициентов Ё. Существует 
большое количество подходов к определению матрицы И’ [10] в зависимости от 
выбора метода ускорения. 

Как один из примеров применения методов ускорения к обучению дискретных 
клеточных нейронных сетей приведем полиномиальное ускорение [11]. Пусть 


{к 0 - последовательность итерационных приближений, определяемая по правилу: 
"(()=Ф"(-1). (19) 

Текущая погрешность итерационного процесса (19) определяется по формуле 
аа ="(#)-у, (20) 


где у — точное решение уравнения (1). 


Исходя из (19), определим Ф': 
5(1)=Ф=(#)=Ф'=(0). (21) 


Для ускорения сходимости последовательности итерационных приближений 
(9) (0) 
а рассмотрим новую последовательность векторов (Ро, определяемую 


линейными комбинациями: 


и(г)= 0) #=0,1,.-- (22) 
1=0 
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исходя из того, что коэффициенты У’, ; соответствуют условию: 


1 
У иг =1, 1=0,1,--.. (23) 
1=0 


Условие (23) гарантирует тот факт, что и(е) =у УЕ > 0, если "(0) =У. 
Обозначив через =() = и(е) —у вектор погрешности, который соответствует 
векторам и(е) с (22), получим с учетом (22) и (23), что 


Используя (21), представим =( ) в виде 
й 
=()=| Уж Ф' [Е (0). (24) 
1=0 


Поскольку, исходя из (21) и (24), справедливо равенство 5(0)= =(0), выразим 
вектор =(.) в виде зависимости: 


2()=и,(Ф)=(), (25) 


где И’, (Ф) — матричный многочлен типа: 
Ра 1 1 
И’, (Ф) = и, оТ+ 1 Ф ++ и: Ф й 


где И’, (1) =1. 

Учитывая формулу для вектора погрешности (24), будем называть комбиниро- 
ванную процедуру (19) и (22) методом полиномиального ускорения, который может 
быть применим к обучению дискретной клеточной сети, ориентированной на реали- 
зацию итерационного процесса (19). 


Выводы 


При использовании известных искусственных нейронных сетей, а также при 
исследовании новых подходов к структурной организации нейронных сетей все 
большее внимание уделяется созданию адаптированных к ним вычислительных 
методов. Попытки решения краевых задач математической физики предпринимались 
на многослойных сетях прямого распространения и сетях Хопфилда. Для более 
тесной адаптации структур нейронных сетей к поставленной задаче были созданы 
клеточные нейронные сети, содержащие модифицированные нейроны, реализующие 
функцию интегрирования. Все перечисленные структурные реализации предпола- 
гают использование прямых методов решения дифференциальных уравнений. С целью 
расширения круга решаемых задач в данной работе предлагается использование 
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численных методов решения краевых задач. Для этого используют дискретные 
клеточные нейронные сети, ориентированные на специальные локально-асинхронные 
методы совместно с мультисеточными методами. Дискретный характер вычислений 
в таких сетях потребовал пересмотра подходов к их обучению. Предложено два 
направления развития методов обучения. Первый основывается на использовании 
свойства пластичности, реализуемого посредством транзитных пересылок. Второй 
реализуется за счет модификации весовых коэффициентов, обеспечивающей увеличе- 
ние скорости сходимости численного метода за счет изменения спектра разностного 
оператора. 
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Б.Б. Нестеренко, М.А. Новотарський 

Розв’язування крайових задач на дискретних клгкових нейронних мережах 

У статт! розглянуто структуру двовимфно{ дискретно! клтковоГ мереж!. Дано опис локально- 
асинхронного методу розв’язування крайових задач на дискретних клткових нейронних мережах. 
Описано алгоритм реалзацИ багатосткового методу. Викладено шдходи до навчання дискретних 
клткових нейронних мереж, що використовують принципи пластичност! й модификаций вагових 
коефипент в. 


В.В. №Мечегептко, М.А. Моуотаг5 Му 

Зо1ушсо Боипдагу уаше ргоет5$ оп 415сгеёе сеЙаг пеига! пебуогК$ 

Тре зкисвте оЁ а МАплепйопа| 41зсгее сеШаг пебмогК 1$ сопз4еге4. ТБе Чезсирноп оЁ а 1оса[ — 
азупсВгопоч$ теоа г зо!уше Боппдагу уаше ргоегл$ оп 415сгее сеП\аг пеига| пеёмогК$ 15 отуеп. ТВе 
аеогИбтл оф теайхайоп оГа тизи те#о4 15 дезсгпе4. Арргоасвез {0 таште Фе 415сгее се|аг пеига! 
пебмогКз, изше рипспез оЁразисйу ап4 ирдайп» оЁ \ме1еВ пе соеЁЯслеп аге 5а{е4. 


Статья поступила в редакцию 28.05.2008. 
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